贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。
translated by 谷歌翻译